AI Papers Daily

#Decision Making

4 篇

Jev-DLC: Decision-Level Continual Learning from Typed Feedback

Jev-DLC：基于类型化反馈的决策级持续学习

🧭 持续个性化 · 类型化反馈有界状态

The Hong Kong University of Science and Technology (Guangzhou) · Sun Yat-sen University

用接受/撤销类型化反馈构建有界状态，在冻结评分器上实现低开销持续个性化决策

📌 工作参考价值（4 点）

• 将用户 accept/revoke 操作抽象成“选中动作 + 被替换动作”的成对反馈，用有向关系存储，适合电商推荐“换一换”、广告主拒单/改投等场景，直接用于在线修正排序偏好。
• 方法不存原始行为日志、不加一次 scorer 推理、不做在线反向传播，仅维护有界状态（可限制大小），对高 QPS 推荐/广告系统友好；可把该模块作为轻量级个性化插件放在已有精排模型之上。
• 互补双通道设计（动作身份证据 + 偏好关系）比单一历史重放更抗噪声，且在反馈稀疏时仍能稳定提升；可借鉴到用户级表示更新或 pairwise ranking 中，比单纯累积正例更有效。
• TCPA-Bench 的时序评估方式强调“只有影响后续决策才计分”，适合用来验证持续学习/在线学习系统，避免传统离线评估高估模型效果。

RecSys | 2026-10-22 | cs.AI | score 7/10

Continual LearningTyped FeedbackPersonalizationDecision MakingBounded State

Calibrated Enough to Know, Not Calibrated to Act: Fabricated Evidence Makes LLM Agents Commit to the Unknowable

校准到知而不校准到行：伪造证据使 LLM Agent 承诺不可知问题

🧭 LLM Agent 决策校准与 SFT 修复

Independent Researcher

专业外观的市场面板大幅提升 LLM Agent 对不可预测问题的承诺率，定位为行动门控失效且可通过 SFT 修复

📌 工作参考价值（4 点）

• 在电商/广告的 LLM Agent 决策链路中，对“不可预测”类问题（如未来销量、市场波动）增加显式门控：在行动前先让模型或一个小型分类器判断问题是否可答，避免被权威格式的不相关证据诱发错误承诺。
• 对输入给 LLM 的指标/面板等证据进行可信度过滤：即使数据是伪造的，专业外观仍会显著提升模型承诺率，因此需验证数据来源，或通过 prompt 强调“仅使用问题本身信息，忽略装饰性面板”。
• 可以使用少量合成数据 SFT 一个小模型（如 3B）来训练“拒绝不可知”的门控，实验显示 540 个案例即可将承诺率降至 0 并跨领域迁移，适合业务中快速构建风险控制模块。
• 注意响应格式：为模型保留推理空间（如允许 chain-of-thought）是门控生效的关键，强制输出决策的刚性格式会导致模型自信犯错，因此在设计 agent prompt 时避免直接要求“是/否”而不给推理步骤。

Agent | 2026-08-27 | cs.CL | score 7/10

LLM AgentCalibrationFabricated EvidenceDecision MakingSFTAct-Don't-act Gate

MemHarness: Memory Is Reconstructed, Not Replayed

记忆应被重构而非回放：基于GRPO的LLM Agent经验动态适配框架

🧭 Agent记忆重构机制

Zhejiang University · Shanghai Artificial Intelligence Laboratory · Fudan University · Shanghai Innovation Institute · Shanghai Jiao Tong University

提出记忆重构范式，让LLM Agent基于当前状态改编检索经验，端到端GRPO训练，防止负迁移并提升OOD鲁棒性

📌 工作参考价值（4 点）

• 在电商对话推荐或搜索Agent中，检索到的历史经验（如成功对话策略、用户偏好）不应原样拼接，可设记忆重构模块，根据当前查询状态动态改写经验，避免性能负迁移。
• 使用GRPO等强化学习算法端到端训练记忆重构策略，使模型学会在适当的时候信任或调整记忆，提升在冷启动或新品类（OOD）场景的鲁棒性。
• 用户行为序列记忆库可与当前上下文结合，生成个性化引导向量，替代静态的偏好嵌入，增强推荐解释性和交互效果。
• 经验重构可作为辅助训练目标，与主任务联合优化，既显式抑制错误记忆干扰，又潜在提升模型内在推理能力，适用于离线策略学习场景。

Agent | 2026-07-29 | HF Daily | score 7/10

Memory ReconstructionLLM AgentsGRPONegative TransferOOD RobustnessDecision Making

Zero-Shot Active Feature Acquisition via LLM-Elicitation

基于LLM引导的零样本主动特征获取

🧭 LLM-引导的零样本主动特征获取

Technion · CytoReason · NVIDIA

仅从LLM获取判别性统计量，用最大熵闭合构建MRF，实现零样本主动特征获取，性能超越LLM直接决策

📌 工作参考价值（4 点）

• 交互式推荐冷启动：利用LLM提取用户/物品特征之间的判别性共变关系构建MRF，指导对话式推荐中下一个最优问题的选择，零样本适配新领域。
• 最大熵闭合技巧：当LLM只返回类间区分信息而忽略类内分布时，可通过最大熵原则补全缺失统计量，使概率模型可用于规划，解决LLM输出偏差。
• 规划与知识分离架构：不让LLM直接做序列决策，而是仅提供特征依赖的统计量，再用MRF进行精确推理，规避LLM规划不可靠的问题，可复用于Agent主动信息获取任务。
• 预算受限下的top-k识别：在电商搜索或推荐中，需从大量候选中快速锁定少量目标时，可借鉴top-k主动特征获取策略，动态选择最具区分力的特征询问用户，降低交互成本。

Other | 2026-06-17 | cs.IR | score 7/10

Active Feature AcquisitionLLMMarkov Random FieldMaximum EntropyZero-shotDecision Making